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摘要 : 面向 天 文 信号 实时 处 理 需 求 ， 搭建 了 基于 ROACH 的 射电 天 文 数字 终 
端 实验 平台 。 利 用 MATLAB, Xilinx 等 开发 环境 进行 仿真 ,取得 了 原始 实验 数据 ; 
利用 CASPER 硬件 平台 实现 了 信号 控制 和 预 处 理 ， 并 通过 高 速 以 太 网 将 数据 包 
传输 至 计算 服务 器 进行 后 处 理 。 搭 建 的 实验 平台 实现 了 仿真 、 编 译 、 运 行 的 完整 
mE, 为 天 文 信号 实时 处 理 研究 提供 了 良好 的 实验 环境 。 
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采用 多 波束 及 PAF! (Phased Array Feed ) 接收 技术 使 射电 观测 获取 的 天 
文 观 测 信 号 数据 量 成 倍增 长 ,观测 数据 需要 实时 处 理 来 克服 传输 和 存储 速度 的 瓶 


颈 。 应 用 高 速 宽 带 数 字 终 端 中 进行 信号 的 实时 处 理 ， 可 以 满足 未 来 海量 数据 实时 
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处 理 的 需求 ,当前 数字 终端 系统 主要 包括 对 天 文 信号 控制 和 预 处 理 的 可 编程 硬件 
平台 和 进行 控制 及 复杂 处 理 的 高 性 能 计算 系统 。 

CASPER ( Collaboration for Astronomy Signal Processing and 
Electronics Research ) 的 硬件 平台 因 其 免费 、 开 源 、 可 重用 ， 目 前 得 到 许多 大 
型 射电 望远镜 的 数字 终端 平台 使 用 。 美 国 GBT ( Green Bank Telescope ) BS Ek 
冲 星 终端 系统 GUPPIB( Green Bank Ultimate Pulsar Processing Instrument), 
Arecibo 使 用 的 脉冲 星 终端 PUPPI? (The Puerto Rico Ultimate Pulsar 
Processing Instrument) ,以 及 澳大利亚 Parkes 的 CASPSR (CASPER Parkes 
Swinburne Recorder) 均 采用 CASPER 早期 的 硬件 系统 IBOBE! ( Interconnect 
Break-out Board ) 和 BEE2!6 ( Berkeley Emulation Engine ) 美国 GBT 的 
VEGAS? ,德国 Effelsberg 的 PSRIXm 终 端 ， 以 及 澳大利亚 Parkes 的 BPSRIS 
(Berkeley Parkes Swinburne Recorder) 采 用 了 第 一 代 ROACH 系统 构建 ， 利 用 
多 台 ROACH 进行 通道 划分 将 来 自 IBOB 和 BEE2 平 台 的 信号 合并 到 一 个 板 中 。 
RE RM FASTIN, Ee Tianma4 均 使 用 了 ROACH25 构 建 终端 系统 ， 进行 频 
率 通道 划分 ， 完 成 高 速 流 数据 处 理 。 

为 进一步 研究 现 有 的 数字 终端 系统 ,实现 高 速 天 文 信号 实时 处 理 ,需要 构建 
稳定 的 实验 平台 ， 为 高 速 天 文 信号 实时 处 理 研 究 提 供 良 好 的 实验 环境 ， 由 于 
CASPER 的 数字 终端 软 硬 件 平台 通用 性 和 开源 性 ,本 文 基于 CASPER 软 硬 件 实 


现 了 实验 平台 的 搭建 ， 并 对 所 搭建 的 实验 环境 进行 了 系统 测试 。 


2 https://www.naic.edu/puppi-observing/ 
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1 硬件 平台 


CASPER 团 组 研发 设计 的 许多 设备 都 是 基于 Xilinx 公司 的 FPGAUTISA , 
通常 典型 的 CASPER 信号 处 理 平台 都 有 一 个 或 者 两 个 ADC 与 其 连接 ， 进行 信 
号 采集 和 少量 的 预 处 理 ， 然 后 通过 网 络 链 路 将 数据 发 送 到 其 他 FPGA 板 或 者 
CPUs, GPUs , 进行 复杂 的 信号 处 理 。 目 前 可 用 的 CASPER 支持 的 FPGA 板 
有 1IBOB、ROACH 系列 、SKARAB、SNAP 系列 。 本 文 实验 平台 的 搭建 选用 稳 
定 且 使 用 较 广 泛 的 CASPER 硬件 平台 ROACH2 , 实验 室 实物 如 图 1 所 示 。 

ROACH ( Reconfigurable Open Architecture Computing Hardware ) 系列 
板 卡 是 可 重 构 开放 式 计算 机 硬件 体系 结构 ,是 用 于 射电 天 文 信号 处 理 的 独立 可 编 
F £ o ROACH2 Æ ROACH 系列 的 最 新 版 本 使 用 Xilinx Virtex-66 系 列 FPGAs。 
保留 了 ROACH 的 优点 , 但 在 处 理 能 力 、I/O 吞吐 量 和 内 存 带宽 方面 提高 了 总 体 
性 能 。 它 使 用 与 ROACH 相同 的 PowerPC 440EPx , 但 是 增加 了 用 于 芯片 内 部 
测试 的 JTAG? ( Joint Test Action Group ) 接口 。 

如 图 2 所 示 ， 从 结构 上 看 ROACH2 硬件 平台 主要 被 分 成 五 个 相互 独立 的 子 
系统 , 包括 FPGA 子 系统 、 处 理 器 子 系统 、 板 卡 管理 子 系统 、 测 试 调试 子 系统 、 
信号 存储 子 系统 。 核 心 部 分 是 Virtex-6 系列 XC6VSX475T FPGA , 用 于 信号 处 
理 ; PowerPC 440EPx 独立 处 理 器 运行 简易 Linux 系统 提供 控制 功能 ; 四 个 36 
x2M 的 QDR2 ( Quad Data Rate 2 ) SRAMs , 以 及 单个 72bit 的 DDR3 RDIMM 


( Registered Dual In-line Memory Module ) 卡 槽 连接 到 FPGA ,可 用 于 数据 计 


6 https://www.xilinx.com/support/documentation/data sheets/ds150.pdf 


7 https://zh.wikipedia.org/wiki/JTAG 
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算 与 存储 ; 两 个 ZDOK 接口 ,用 于 连接 ADC 等 设备 ,四 个 SFP +( Quad SFP+ 


Mezzanine board ) 端口 , 支持 多 达 8x10Ge 的 数据 链 路 ， 能 够 将 数据 包 向 下 一 


级 高 速 输出 。 
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1 ROACH2 实物 图 
Fig. 1 The picture of ROACH2 
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2 ROACH2 系统 结构 
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Fig.2 The system structure diagram of ROACH2 


2 软件 环境 


CASPER 工具 包 提 供 了 一 个 用 于 CASPER 硬件 平台 的 设计 环境 。 主 要 组 件 
简称 MSSGE? ( MATLAB/Simulink/System Generator/EDK ), MSSGE 工具 包 
是 针对 基于 CASPER 硬件 平台 的 一 个 软件 开发 平台 ， 它 们 整合 在 一 起 形成 一 个 
设计 和 开发 的 平台 环境 。 这 个 开发 环境 早期 是 由 伯克利 无 线 电 研究 中 心 为 BEE 
硬件 平台 设计 开发 的 BEE_XPS 工具 包 ,后 将 这 个 开发 环境 升级 扩展 到 可 以 通用 
于 所 有 的 CASPER 硬件 平台 。 开 发 环境 提供 了 图 形 化 的 设计 界面 ， 使 用 Xilinx 
系统 生成 工具 包 ， 使 得 设计 编译 实现 过 程 整体 化 。 

MSSGE 工具 包 的 各 个 组 件 中 ,MATLAB 为 Simulink 提供 了 一 个 可 编写 脚 
本 的 后 端 ， 所 有 脚本 均 可 通过 MATLAB 实现 。Simulink 既 可 作为 CASPER 
ROACH2 的 系统 模型 的 原理 图 绘图 工具 ， 也 可 作为 一 种 高 层次 的 可 以 用 于 信号 
处 理 系统 设计 的 仿真 环境 。System Generator 可 以 用 于 FPGA 编程 实现 ， 是 
Xilinx 公司 的 系统 级 设计 工具 ,可 以 将 其 理解 成 一 个 转换 工具 ,自动 地 将 Simulink 
中 设计 的 抽象 模块 映射 成 可 靠 的 硬件 实现 [4。System Generator 在 编译 期 间 将 
Simulink 原理 图 转换 为 HDL 代码 ( VHDL 或 Verilog ) , 这 大 大 简化 了 开发 数字 
信号 处 理 算 法 的 设计 过 程 。EDK ( Embedded Development Kit ) 组 件 是 用 于 
FPGA DUR A dg , CASPER 硬件 的 编译 基于 Xilinx EDK , 通过 它 能 够 将 上 
一 步 生成 的 硬件 描述 语言 的 代码 编译 成 比特 流 文件 并 转换 成 操作 系统 可 执行 的 


bof <4 , EDK 是 ISE 的 扩展 功能 工具 集合 。 


8 https://casper.ssl.berkeley.edu/wiki/MSSGE_Toolflow 


该 实验 平台 软件 可 搭建 在 Ubuntu x64, RHEL , CentOS x64 AHL. A 
过 实际 测试 MALTAB ARS AS Xilinx 的 XSG, System Generator 存在 版 本 兼 
容 差 异 ， 须 下 载 对 应 版 本 的 MATLAB 和 Xilinx， 以 及 相应 MSSGE 库 。 

本 文 以 系统 CentOS 7 , 软件 MATLAB 2012b、Xilinx14.7 为 例 进 行 说 明 ， 
环境 搭建 流程 如 图 3 所 示 在 CentOS 7 上 依次 安装 Xilinx14.7、.MATLAB2012b。 
工具 包 需 要 两 个 库 , 即 DSP 块 的 CASPER 库 和 硬件 支持 块 的 BEE XPS 库 , 现 
两 个 库 已 捆绑 在 一 个 mlib_devel 目录 中 ， 用 户 可 以 从 github 下 载 ， 需 要 注意 的 
是 在 开发 环境 搭建 过 程 中 ,应 注意 软件 版 本 、 安 装 路 径 与 库 文件 存放 路 径 的 一 致 
性 。 

在 Xilinx14 版 本 中 删除 了 ROACH2 依赖 的 部 分 模块 ,这 些 模 块 存在 于 EDK 
中 ， 称 为 pcores ( peripheral cores) ,因此 需要 将 删除 的 部 分 复制 到 
XPS_ROACH2_base/pcores 文件 夹 中 进行 更 新 。 下载 并 安装 完成 后 ,编辑 startsg 
的 默认 路 径 为 文件 存放 的 真实 路 径 。 更 改 完 成 后 ， 直接 运 行 startsg , 即 可 启动 


MATLAB ,等 待 成 功 导 入 Xilinx BA] CASPER 库 后 即 可 进行 设计 工作 。 


darja 安装 软件 mae 更 新 ml ib devel 
安装 操作 系统 > Xilinx14.7、 | 下 载 mlib_devel > 更 新 pcores 一 一 > 中 Xilinx 和 


gentos z MATLAB2012b 库 WATLAB 的 地 址 


3 软件 安装 流程 图 示 


Fig. 3 Flow chart of software installation 


3 实验 分 析 


实验 平台 的 软 硬 件 系统 搭建 完成 后 ， 需 要 实例 验证 其 可 用 性 。 本 文 利 用 


CASPER 平台 提供 的 实例 对 所 搭建 的 平台 进行 了 测试 。 


实例 测试 实现 了 从 平台 软件 设计 到 硬件 执行 的 完整 处 理 流程 ， 如 图 4 所 示 。 
使 用 MATLAB 中 的 Simulink 进行 设计 、 仿 真 ， 使 用 casper xps 编译 文件 , X 
件 编译 生成 可 执行 文件 后 ， 将 后 缀 名 为 bof 的 可 执行 文件 上 传 到 ROACH 平台 


的 相应 文件 夹 中 ， 通 过 Python 脚本 远程 控制 文件 在 ROACH2 上 执行 。 


a 使 用 上 传 bof 文 件 
#]FiSimulink L— casper. xps l SÍROACH2 上 远程 控制 | > 显示 输出 
进行 仿真 t es 本 执行 文件 


图 4 实验 开发 流程 
Fig. 4 Flow chart of experimental process 
首先 在 Simulink 编 译 界面 里 进行 图 形 化 设计 。 创 建新 的 仿真 图 形 ;添加 Xilinx 
系统 生成 器 和 XSG 核心 配置 块 ， 然 后 按照 描述 的 设计 构架 图 ,通过 定位 库 基本 
元 素 选 择 需要 的 模块 ， 并 设置 参数 ， 搭建 完整 的 顶层 设计 结构 ， 本文 以 建立 宽带 
频谱 仪 为 例 ， 其 整体 图 形 化 程序 如 图 5 所 示 。 在 Simulink 中 建立 架构 图 时 主要 
应 用 三 个 库 ,CASPER XPS Æ ,包括 封装 了 硬件 之 间接 口 等 的 黄色 块 ;CASPER 
DSP 库 ， 包 括 实现 输出 DSP 功能 等 的 绿色 块 Xilinx E , HRSA. SER, AN 


加 等 低级 功能 的 蓝 色 块 。 
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5 整体 设计 实现 图 示 
Fig. 5 The diagram of overall design 
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在 Simulink 中 的 设计 完成 之 后 ， 可 直接 在 其 内 部 进行 仿真 ， 确 保 在 编译 之 
前 没有 错误 ,点 击 项 部 工具 栏 中 的 执行 按钮 , 即 可 实现 仿真 。 如 有 错误 则 会 弹出 
诊断 窗口 ,可 以 单独 处 理 ,有 些 设计 也 可 以 查看 示波器 中 的 显示 是 否 与 设置 一 致 
以 判断 对 错 。 

验证 设计 功能 正确 后 ， 需 将 其 编译 成 FPGA 可 以 识别 的 代码 。 在 MATLAB 
中 输入 指令 casper_xps 来 启动 编译 器 模块 ， 这 时 将 会 弹出 如 图 6 所 示 的 编译 界 
面 ,所 有 选项 保持 默认 ， 确 保 列 出 的 设计 是 想 要 编译 的 ， 然 后 单 击 gcs 返回 最 近 
选择 的 模块 所 在 的 系统 路 径 ， 最 后 单 击 Run XPS 开始 编译 。 
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-| 
" 
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Y 


6 编译 启动 界面 
Fig. 6 Compile startup interface 
经 过 较 长 一 段 时 间 的 等 待 ,编译 正确 并 且 完 成 之 后 ,将 会 弹出 一 个 成 功 实现 
编译 的 对 话 框 如 图 7 所 示 。 


CASPER XPS run successfully completed in 01:39:54! 


OK | 


7 编译 通过 图 示 


Fig. 7 The diagram of successful compilation 

编译 通过 之 后 会 在 右 侧 文件 夹 目录 栏 显示 生成 了 多 个 文件 ,其 中 在 bit_files 
文件 夹 中 能 够 找到 后 缀 名 为 bof 的 二 进 制 文件 , *.bof 文件 即 是 可 以 在 ROACH2 
上 运行 的 文件 。 

设计 、 仿 真 、 执 行 、 编 译 等 过 程 都 在 CASPER 的 软件 开发 平台 上 实现 的 ， 
要 在 硬件 平台 ROACH2 上 执行 下 一 步 操作 ， 需 要 将 编译 生成 的 bof 文件 上 传 到 
ROACH2 平台 相应 文件 夹 中 。 经 过 多 次 尝试 ,针对 bof 文件 上 传 ,建议 采用 NFS 
( Network File System ) 方式 ,远程 mount 其 它 服务 器 相关 目录 到 ROACH2 
平台 相应 目录 ,这样 只 需 复制 bof 文件 到 服务 器 上 即 可 实现 bof MALE. Biz 
程控 制 将 编译 的 可 执行 文件 在 ROACH2 上 运行 ， 完 成 配置 和 通信 并 实现 显示 输 
出 。 

本 文 以 建立 2048 通道 的 频谱 仪 为 例 ， 使 用 BPSG49 信 号 发 生 器 产生 800 
MHz 时 钟 信号 ,将 时 钟 源 连接 到 ADC 上 的 clk i , 并 将 ROACH2 的 时 钟 频率 设 
置 为 200MHz , 输入 信号 由 ADC 数字 化 产生 4 个 并 行 时 间 序 列 。 利 用 python 
控制 频谱 仪 在 ROACH2 上 执行 ， 将 其 转换 为 频 域 信号 ， 最终 输出 频谱 。 

实验 过 程 中 ， 首 先 利用 噪声 源 产生 宽带 信和 号， 再 利用 带宽 为 98-122MHz 的 


带 通 滤波 器 选择 指定 范围 内 的 频率 分 量 ， 积分 60 次 时 信号 频谱 如 图 8 所 示 。 


9 https://www.aaronia.com/products/signal-generators/Signal-Generator-BPSG4/ 


le7 Integration number 60. 
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8 带宽 98-122MHz 信号 频谱 
Fig. 8 Bandwidth 98-122MHz signal spectrum 

搭建 的 实验 平台 可 以 通过 10GbE 的 SFP+ 端 口 实现 实验 平台 硬件 设备 之 间 
的 数据 传输 ， 通 过 PPC 的 1GBE 端口 读 出 预 处 理 数 据 ， 通过 ZDOK 端口 传输 
ADC 数字 化 信号 到 FPGA ; 可 在 Simulink 设计 中 嵌入 HDL 定义 的 模块 并 进行 
实例 化 ， 创 建新 的 Xilinx 模块 、CASPER 模块 ` 利用 Simulink 和 CASPER 库 
中 的 模块 ， 可 以 构建 新 的 硬件 设计 ， 实 现 相 关 的 天 文 信号 处 理 功能 。 经 过 测试 ， 
本 文 搭建 的 实验 平台 可 满足 射电 天 文 数 字 终 端 算法 测试 需求 。 

由 于 操作 系统 及 应 用 软件 版 本 不 断 更 新 并 且 相 互 不 兼容 ,在 实验 过 程 中 遇 到 
了 一 系列 版 本 不 匹配 问题 。 由 于 软 硬 件 平 台 的 更 新 换代 ,设计 模块 也 在 不 断 修正 、 
替换 、 奔 用 、 添 加 等 ， 都 影响 了 对 不 同 版 本 库 的 调用 , 在 建设 过 程 中 遇 到 了 模块 
版 本 老 、EDK 版 本 落后 、 参 数 不 存在 等 报错 提示 ， 通过 尝试 替换 不 同 版 本 的 软 
件 包 解决 了 相关 问题 。CASPER 教程 说 明 现 已 不 在 原 网 站 上 更 新 ， 本 文 实验 平 


台 拱 建 涉 及 到 的 库 、 实 验 中 的 bof 文件 可 以 到 新 疆 天 文 台 数据 中 心 下 载 ， 网 址 


http://data.xao.ac.cn/static/RAOCH2_platform.tar.gz. 


4 总 结 


本 文 根 据 射电 天 文海 量 信号 实时 处 理 需求 ,对 数字 终端 系统 环境 建设 进行 了 
研究 ， 借 助 通用 性 良好 的 CAPSER 硬件 开发 平台 及 其 相应 软件 环境 ， 搭建 了 基 


T ROACH2 的 数字 终端 系统 实验 平台 。 利 用 CAPSER 提供 的 示例 对 搭建 的 实 


/ 


验 平台 进行 了 测试 、 调 试 和 分 析 ,实现 了 相关 实例 设计 、 仿 真 、 编 译 、 运 行 的 


di 


整 过 程 。 实 验 结 果 表 明 , 本 文 所 措 建 的 平台 运行 平稳 、 可 靠 。 目 前 所 措 建 的 数字 
终端 环境 已 经 应 用 在 脉冲 星 信号 仿真 处 理 ,射频 干扰 抑制 算法 测试 与 高 速 数 字 信 


号 传输 等 相关 研究 领域 。 
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The construction of digital backend 


experiment platform based on ROACH2 
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China) 


Abstract : An experimental platform of radio astronomy digital backend based 
on ROACH2 was built for the real-time processing requirements of 
astronomical signals. Using MATLAB, Xilinx and other development 
environments to simulate the process of astronomical signals, and the raw 
data were obtained; the signal control and pre-processing were realized by 
CASPER hardware platform, and the data packet was transmitted to the 
computing server through high-speed Ethernet for post-processing. The 
experimental platform has realized the complete process of simulation, 
compilation and operation, and provided a good experimental environment for 
the real-time processing of astronomical signals. 
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